OpenDataを利用したデータ分析の実証実験

AI、BI、データ分析、更には、DXなど横文字が並び、結局実務に沿って役立つ内容が乏しいので、実例を元に進めてゆきます。

どうせなら、地元新潟の役に立てばと思って、勝手に。

自治体オープンデータを使ってるなら、横浜市のようにすればいいかと思う。

【基データ】

新潟市オープンデータ、まず、議会活動情報からスタートし拡大予定

【利用対象】

誰でも、インターネットを見るような感覚で操作できること。

【目指すこと】

唯のデータを価値ある情報に加工し、知識を深め、知恵として昇華する。

  • 関心のあるデータを簡単に分析できること。
  • 上記を利用した反響をAWS-Comperhendにかけて、KeyPhase(キーとなる文字),Sentiment(感情)などインサイトや関係性の検出を行う。
    ※更に、このデータも、利用者が手軽に分析できるようにする。

《利用したITツール類》

  • Redash(オープンソースBIツール)

導入記録
SQL(Mysql,Postgres,Oracleなど)、NoSQL、ビッグデータ、APIデータソースのデータの分析結果をわかりやすく可視化し共有するツール

  • AWS(クラウドプラットフォーム)

コンピューティング、ストレージ、データベースなどのインフラストラクチャテクノロジーから機械学習、AI、データレイクと分析、IoT などを利用する。
今回は、ComperhendlightSailを使っています。

上記Redashのバックエンドのデータ保存場所となります。
また、Comperhendの実行結果(JSON形式)も保存して利用します。
実は、Redash内部のPostgreSQLをそのまま利用しています。

  • LinuxOS

このページは、CentOS。Redashは、Ubuntu21.04を使っています。

  • 参考記事

自然言語処理(NLP)・種類と活用法 (只今、勉強中!!!)

今の所、AWS-LightSailの最低ランク(3.5$)で運用中。

Re:dashは、512MBメモリではキツイので、別途サーバーですが、トータル10$/月以下で運用中!

【活動/試験結果】

(※非公開中です♪)代わりにYoutubeで♪   

  1. 議員名簿
  2. 会派交付
  3. 議決結果 途中経過

【公開後のレスポンス状況】

メール、インターネット、SNS及び電話(音声)を分析して、反響を調査する

お問い合わせ先 プライバシーポリシー サイトマップ

これから、少しずつホソボソと活動予定。トホホ・・・。

タイトルとURLをコピーしました